交叉分解模块主要包含两个算法族: 偏最小二乘法（PLS）和典型相关分析（CCA）。

这些算法族具有发现两个多元数据集之间的线性关系的用途： fit method （拟合方法）的参数 X 和 Y 都是 2 维数组。

交叉分解算法能够找到两个矩阵 (X 和 Y) 的基础关系。它们是对在两个空间的协方差结构进行建模的隐变量方法。它们将尝试在X空间中找到多维方向，该方向能够解释Y空间中最大多维方差方向。 PLS回归特别适用于当预测变量矩阵具有比观测值更多的变量以及当X值存在多重共线性时。相比之下，在这些情况下，标准回归将失败。

包含在此模块中的类有：PLSRegression, PLSCanonical, CCA,PLSSVD

sklearn.cross_decomposition.PLSRegression

例：

sklearn.cross_decomposition.PLSCanonical

例：

sklearn.cross_decomposition.CCA

例：

sklearn.cross_decomposition.PLSSVD

例：

朴素贝叶斯方法是基于贝叶斯定理的一组有监督学习算法，即“简单”地假设每对特征之间相互独立。 给定一个类别 y 和一个从 x 1 x_1 x1​ 到 x n x_n xn​ 的相关的特征向量， 贝叶斯定理阐述了以下关系: P ( y ∣ x 1 , … , x n ) = P ( y ) P ( x 1 , … x n ∣ y ) P ( x 1 , … , x n ) P(y \mid x_1, \dots, x_n) = \frac{P(y) P(x_1, \dots x_n \mid y)}{P(x_1, \dots, x_n)} P(y∣x1​,…,xn​)=P(x1​,…,xn​)P(y)P(x1​,…xn​∣y)​ 使用简单(naive)的假设-每对特征之间都相互独立: P ( x i ∣ y , x 1 , … , x i − 1 , x i + 1 , … , x n ) = P ( x i ∣ y ) , P(x_i | y, x_1, \dots, x_{i-1}, x_{i+1}, \dots, x_n) = P(x_i | y) , P(xi​∣y,x1​,…,xi−1​,xi+1​,…,xn​)=P(xi​∣y), 对于所有的 : i :i :i 都成立，这个关系式可以简化为 P ( y ∣ x 1 , … , x n ) = P ( y ) ∏ i = 1 n P ( x i ∣ y ) P ( x 1 , … , x n ) P(y \mid x_1, \dots, x_n) = \frac{P(y) \prod_{i=1}^{n} P(x_i \mid y)}{P(x_1, \dots, x_n)} P(y∣x1​,…,xn​)=P(x1​,…,xn​)P(y)∏i=1n​P(xi​∣y)​ 由于在给定的输入中 P ( x 1 , … , x n ) P(x_1, \dots, x_n) P(x1​,…,xn​) 是一个常量，我们使用下面的分类规则: P ( y ∣ x 1 , … , x n ) ∝ P ( y ) ∏ i = 1 n P ( x i ∣ y ) ⇓ y ^ = arg ⁡ max ⁡ y P P(y \mid x_1, \dots, x_n) \propto P(y) \prod_{i=1}^{n} P(x_i \mid y)\Downarrow\hat{y} = \arg\max_y P P(y∣x1​,…,xn​)∝P(y)i=1∏n​P(xi​∣y)⇓y^​=argymax​P ( y ) ∏ i = 1 n P ( x i ∣ y ) , (y) \prod_{i=1}^{n} P(x_i \mid y), (y)i=1∏n​P(xi​∣y), 我们可以使用最大后验概率(Maximum A Posteriori, MAP) 来估计 P ( y ) P(y) P(y) 和 P ( x i ∣ y ) P(x_i \mid y) P(xi​∣y) ; 前者是训练集中类别 y y y 的相对频率。

各种各样的的朴素贝叶斯分类器的差异大部分来自于处理 P ( x i ∣ y ) P(x_i \mid y) P(xi​∣y) 分布时的所做的假设不同。

尽管其假设过于简单，在很多实际情况下，朴素贝叶斯工作得很好，特别是文档分类和垃圾邮件过滤。这些工作都要求 一个小的训练集来估计必需参数。(至于为什么朴素贝叶斯表现得好的理论原因和它适用于哪些类型的数据，请参见下面的参考。)

相比于其他更复杂的方法，朴素贝叶斯学习器和分类器非常快。 分类条件分布的解耦意味着可以独立单独地把每个特征视为一维分布来估计。这样反过来有助于缓解维度灾难带来的问题。

另一方面，尽管朴素贝叶斯被认为是一种相当不错的分类器，但却不是好的估计器(estimator)，所以不能太过于重视从 predict_proba 输出的概率。

GaussianNB 实现了运用于分类的高斯朴素贝叶斯算法。特征的可能性(即概率)假设为高斯分布:

参数 σ y \sigma_y σy​ 和 μ y \mu_y μy​ 使用最大似然法估计。

sklearn.naive_bayes.GaussianNB

例：

MultinomialNB 实现了服从多项分布数据的朴素贝叶斯算法，也是用于文本分类(这个领域中数据往往以词向量表示，尽管在实践中 tf-idf 向量在预测时表现良好)的两大经典朴素贝叶斯算法之一。 分布参数由每类 y 的 θ y = ( θ y 1 , … , θ y n ) \theta_y = (\theta_{y1},\ldots,\theta_{yn}) θy​=(θy1​,…,θyn​) 向量决定， 式中 n 是特征的数量(对于文本分类，是词汇量的大小) θ y i \theta_{yi} θyi​ 是样本中属于类 y 中特征 i 概率 P ( x i ∣ y ) P(x_i \mid y) P(xi​∣y) 。

参数 θ y \theta_y θy​ 使用平滑过的最大似然估计法来估计，即相对频率计数: θ ^ y i = N y i + α N y + α n \hat{\theta}_{yi} = \frac{ N_{yi} + \alpha}{N_y + \alpha n} θ^yi​=Ny​+αnNyi​+α​ 式中 N y i = ∑ x ∈ T x i N_{yi} = \sum_{x \in T} x_i Nyi​=∑x∈T​xi​是 训练集T中特征i在类y中出现的次数， N y = ∑ i = 1 ∣ T ∣ N y i N_{y} = \sum_{i=1}^{|T|} N_{yi} Ny​=∑i=1∣T∣​Nyi​ 是类 y 中出现所有特征的计数总和。

先验平滑因子 α ≥ 0 \alpha \ge 0 α≥0 为在学习样本中没有出现的特征而设计，以防在将来的计算中出现0概率输出。 把 α = 1 \alpha = 1 α=1 被称为拉普拉斯平滑(Lapalce smoothing)，而 α < 1 \alpha < 1 α>> import numpy as np >>> rng = np.random.RandomState(1) >>> X = rng.randint(5, size=(6, 100)) >>> y = np.array([1, 2, 3, 4, 5, 6]) >>> from sklearn.naive_bayes import MultinomialNB >>> clf = MultinomialNB() >>> clf.fit(X, y) MultinomialNB() >>> print(clf.predict(X[2:3])) [3] 1.9.3. 补充朴素贝叶斯【naive_bayes.ComplementNB】

ComplementNB实现了补充朴素贝叶斯(CNB)算法。CNB是标准多项式朴素贝叶斯(MNB)算法的一种改进，特别适用于不平衡数据集。具体来说，CNB使用来自每个类的补数的统计数据来计算模型的权重。CNB的发明者的研究表明，CNB的参数估计比MNB的参数估计更稳定。此外，CNB在文本分类任务上通常比MNB表现得更好(通常有相当大的优势)。计算权重的步骤如下:

其中对不在类c中的所有记录j求和，dij可以是文档ｊ中词语i的计数或tf-idf值，αi是就像MNB中一样的平滑超参数，同时 α = ∑ i α i \alpha = \sum_{i} \alpha_i α=∑i​αi​。第二个归一化解决了长记录主导MNB参数估计的问题。分类规则为: c ^ = arg ⁡ min ⁡ c ∑ i t i w c i \hat{c} = \arg\min_c \sum_{i} t_i w_{ci} c^=argcmin​i∑​ti​wci​ 即将记录分配给补充匹配度最低的类。

sklearn.naive_bayes.ComplementNB

例：

BernoulliNB 实现了用于多重伯努利分布数据的朴素贝叶斯训练和分类算法，即有多个特征，但每个特征 都假设是一个二元 (Bernoulli, boolean) 变量。 因此，这类算法要求样本以二元值特征向量表示；如果样本含有其他类型的数据， 一个 BernoulliNB 实例会将其二值化(取决于 binarize 参数)。

伯努利朴素贝叶斯的决策规则基于: P ( x i ∣ y ) = P ( i ∣ y ) x i + ( 1 − P ( i ∣ y ) ) ( 1 − x i ) P(x_i \mid y) = P(i \mid y) x_i + (1 - P(i \mid y)) (1 - x_i) P(xi​∣y)=P(i∣y)xi​+(1−P(i∣y))(1−xi​) 与多项分布朴素贝叶斯的规则不同 伯努利朴素贝叶斯明确地惩罚类 y 中没有出现作为预测因子的特征 i ，而多项分布分布朴素贝叶斯只是简单地忽略没出现的特征。

在文本分类的例子中，统计词语是否出现的向量(word occurrence vectors)(而非统计词语出现次数的向量(word count vectors))可以用于训练和使用这个分类器。 BernoulliNB 可能在一些数据集上表现得更好，特别是那些更短的文档。 如果时间允许，建议对两个模型都进行评估。

sklearn.naive_bayes.BernoulliNB

例：

朴素贝叶斯模型可以解决整个训练集不能导入内存的大规模分类问题。 为了解决这个问题， MultinomialNB, BernoulliNB, 和 GaussianNB 实现了 partial_fit 方法，可以动态的增加数据，使用方法与其他分类器的一样。所有的朴素贝叶斯分类器都支持样本权重。

与fit 方法不同，首次调用 partial_fit方法需要传递一个所有期望的类标签的列表。

注意：所有朴素贝叶斯模型调用 partial_fit 都会引入一些计算开销。推荐让数据块越大越好，其大小与 RAM 中可用内存大小相同。

Decision Trees (DTs) 是一种用来 classification 和 regression 的无参监督学习方法。其目的是创建一种模型从数据特征中学习简单的决策规则来预测一个目标变量的值。

例如，在下面的图片中，决策树通过if-then-else的决策规则来学习数据从而估测数一个正弦图像。决策树越深入，决策规则就越复杂并且对数据的拟合越好。

决策树的优势:

便于理解和解释。树的结构可以可视化出来。

训练需要的数据少。其他机器学习模型通常需要数据规范化，比如构建虚拟变量和移除缺失值,不过请注意，这种模型不支持缺失值。

由于训练决策树的数据点的数量导致了决策树的使用开销呈指数分布(训练树模型的时间复杂度是参与训练数据点的对数值)。

能够处理数值型数据和分类数据。其他的技术通常只能用来专门分析某一种变量类型的数据集。详情请参阅算法。

能够处理多路输出的问题。

使用白盒模型。如果某种给定的情况在该模型中是可以观察的，那么就可以轻易的通过布尔逻辑来解释这种情况。相比之下，在黑盒模型中的结果就是很难说明清 楚地。

可以通过数值统计测试来验证该模型。这对事解释验证该模型的可靠性成为可能。

即使该模型假设的结果与真实模型所提供的数据有些违反，其表现依旧良好。

决策树的缺点包括:

DecisionTreeClassifier 是能够在数据集上执行多分类的类,与其他分类器一样，DecisionTreeClassifier 采用输入两个数组：数组X，用 [n_samples, n_features] 的方式来存放训练样本。整数值数组Y，用 [n_samples] 来保存训练样本的类标签:。

执行通过之后，可以使用该模型来预测样本类别:

另外，也可以预测每个类的概率，这个概率是叶中相同类的训练样本的分数:

DecisionTreeClassifier 既能用于二分类（其中标签为[-1,1]）也能用于多分类（其中标签为[0,…,k-1]）。使用Lris数据集，我们可以构造一个决策树，如下所示:

经过训练，我们可以使用 export_graphviz 导出器以 Graphviz 格式导出决策树. 如果你是用 conda来管理包，那么安装 graphviz 二进制文件和 python 包可以用以下指令安装

或者，可以从 graphviz项目主页下载graphviz 的二进制文件，并从 pypi 安装: Python 包装器，并安装 pip install graphviz .以下是在整个 iris 数据集上训练的上述树的 graphviz 导出示例; 其结果被保存在 iris.pdf 中:

export_graphviz 还支持各种美化，包括通过他们的类着色节点（或回归值），如果需要，还能使用显式变量和类名。Jupyter notebook也可以自动内联式渲染这些绘制节点:

sklearn.tree.DecisionTreeClassifier

例：

决策树通过使用 DecisionTreeRegressor 类也可以用来解决回归问题。如在分类设置中，拟合方法将数组X和数组y作为参数，只有在这种情况下，y数组预期才是浮点值:

sklearn.tree.DecisionTreeRegressor

例：

一个多值输出问题是一个类似当 Y 是大小为 [n_samples, n_outputs] 的2d数组时，有多个输出值需要预测的监督学习问题。

当输出值之间没有关联时，一个很简单的处理该类型的方法是建立一个n独立模型，即每个模型对应一个输出，然后使用这些模型来独立地预测n个输出中的每一个。然而，由于可能与相同输入相关的输出值本身是相关的，所以通常更好的方法是构建能够同时预测所有n个输出的单个模型。首先，因为仅仅是建立了一个模型所以训练时间会更短。第二，最终模型的泛化性能也会有所提升。对于决策树，这一策略可以很容易地用于多输出问题。 这需要以下更改：

该模块通过在DecisionTreeClassifier和 DecisionTreeRegressor 中实现该策略来支持多输出问题。如果决策树与大小为 [n_samples, n_outputs] 的输出数组Y向匹配，则得到的估计器:

总体来说，用来构建平衡二叉树的运行时间为 O ( n s a m p l e s n f e a t u r e s log ⁡ ( n s a m p l e s ) ) O(n_{samples}n_{features}\log(n_{samples})) O(nsamples​nfeatures​log(nsamples​)) 查询时间为 O ( log ⁡ ( n s a m p l e s ) ) O(\log(n_{samples})) O(log(nsamples​)) 。尽管树的构造算法尝试生成平衡树，但它们并不总能保持平衡。假设子树能大概保持平衡，每个节点的成本包括通过 O ( n f e a t u r e s ) O(n_{features}) O(nfeatures​) 时间复杂度来搜索找到提供熵减小最大的特征。每个节点的花费为 O ( n f e a t u r e s n s a m p l e s log ⁡ ( n s a m p l e s ) ) O(n_{features}n_{samples}\log(n_{samples})) O(nfeatures​nsamples​log(nsamples​)) ，从而使得整个决策树的构造成本为 O ( n f e a t u r e s n s a m p l e s 2 log ⁡ ( n s a m p l e s ) ) O(n_{features}n_{samples}^{2}\log(n_{samples})) O(nfeatures​nsamples2​log(nsamples​)) 。

Scikit-learn提供了更多有效的方法来创建决策树。初始实现（如上所述）将重新计算沿着给定特征的每个新分割点的类标签直方图（用于分类）或平均值（用于回归）。与分类所有的样本特征，然后再次训练时运行标签计数，可将每个节点的复杂度降低为 O ( n f e a t u r e s log ⁡ ( n s a m p l e s ) ) O(n_{features}\log(n_{samples})) O(nfeatures​log(nsamples​)) ，则总的成本花费为 O ( n f e a t u r e s n s a m p l e s log ⁡ ( n s a m p l e s ) ) O(n_{features}n_{samples}\log(n_{samples})) O(nfeatures​nsamples​log(nsamples​)) 。这是一种对所有基于树的算法的改进选项。默认情况下，对于梯度提升模型该算法是打开的，一般来说它会让训练速度更快。但对于所有其他算法默认是关闭的，当训练深度很深的树时往往会减慢训练速度。

所有种类的决策树算法有哪些以及它们之间的区别？scikit-learn 中实现何种算法呢？

ID3（Iterative Dichotomiser 3）由 Ross Quinlan 在1986年提出。该算法创建一个多路树，找到每个节点（即以贪心的方式）分类特征，这将产生分类目标的最大信息增益。决策树发展到其最大尺寸，然后通常利用剪枝来提高树对未知数据的泛华能力。

C4.5是 ID3 的后继者，并且通过动态定义将连续属性值分割成一组离散间隔的离散属性（基于数字变量），消除了特征必须被明确分类的限制。C4.5 将训练的树（即，ID3算法的输出）转换成 if-then 规则的集合。然后评估每个规则的这些准确性，以确定应用它们的顺序。如果规则的准确性没有改变，则需要决策树的树枝来解决。

C5.0 是 Quinlan 根据专有许可证发布的最新版本。它使用更少的内存，并建立比 C4.5 更小的规则集，同时更准确。

CART（Classification and Regression Trees （分类和回归树））与 C4.5 非常相似，但它不同之处在于它支持数值目标变量（回归），并且不计算规则集。CART 使用在每个节点产生最大信息增益的特征和阈值来构造二叉树。

scikit-learn 使用 CART 算法的优化版本。

给定训练向量 x i ∈ R n , i = 1 , … , l 和 标 签 向 量 y ∈ R l x_i \in R^n, i=1,…, l 和标签向量 y \in R^l xi​∈Rn,i=1,…,l和标签向量y∈Rl。决策树递归地分割空间，例如将有相同标签的样本归为一组。

将 m 节点上的数据用 Q 来表示。每一个候选组 θ = ( j , t m ) \theta = (j, t_m) θ=(j,tm​) 包含一个特征 j 和阈值 t m t_m tm​ 将,数据分成 Q l e f t ( θ ) Q_{left}(\theta) Qleft​(θ) 和 Q r i g h t ( θ ) Q_{right}(\theta) Qright​(θ) 子集。

使用不纯度函数 H() 计算 m 处的不纯度,其选择取决于正在解决的任务（分类或回归） G ( Q , θ ) = n l e f t N m H ( Q l e f t ( θ ) ) + n r i g h t N m H ( Q r i g h t ( θ ) ) G(Q, \theta) = \frac{n_{left}}{N_m} H(Q_{left}(\theta))+ \frac{n_{right}}{N_m}H(Q_{right}(\theta)) G(Q,θ)=Nm​nleft​​H(Qleft​(θ))+Nm​nright​​H(Qright​(θ)) 选择使不纯度最小化的参数 θ ∗ = argmin ⁡ θ G ( Q , θ ) \theta^* = \operatorname{argmin}_\theta G(Q, \theta) θ∗=argminθ​G(Q,θ) 在 Q l e f t ( θ ∗ ) Q_{left}(\theta^*) Qleft​(θ∗) 和 Q r i g h t ( θ ∗ ) Q_{right}(\theta^*) Qright​(θ∗) 上递归运算，直到达到最大允许深度， N m < min ⁡ s a m p l e s N_m < \min_{samples} Nm​